掷钵峰在岳庙后的磨镜台上，原有东廓、南轩书院。寺有福严、南台。

      福严寺有唐太宗御书梵经五十卷，楚云上人刺血写的《妙法莲花经》一部，清乾隆皇帝藏书，现均无存。还有讲经台、三生塔、隐身岩、福严洞等古迹。峰以慧思应召去京掷钵的传说而得名。

      其中福严寺是六朝陈代光大元年（567年）由高僧慧思和尚创建，距今一千四百多年。当时名叫“大般若禅林”，又名“般若寺”。唐朝先天三年，被尊为禅宗七祖的怀让禅师来到南岳，驻锡于此。因此在今天福严寺山门上有“天下法院”横额，两边有“六朝古刹”、“七祖道场”竖联。五代时曾改名“报慈三生藏”，又名“报慈东藏”。宋朝时，寺中有位叫福严的的僧人增修寺院，并栽杉树十万株，福严寺因此得名，明初福严寺尚颇壮观，至明中叶渐圮，从此衰落百余年。明崇祯十年（1637年），福严寺住持佛鼎始振殿宇，他从西岭到天台峰一线开山辟道，砍运巨材，建筑殿宇。清康熙中（1662-1722年）式庵禅师又大力整修，建宿云楼，“道风颇振，规制一新。”不久式庵因政治之祸遭清延通缉。湖南巡抚赵申乔抓不到式庵，便放火烧毁宿云楼。

      从康熙中到同治年间（1700-1874年），福天数寺几经修复‘：乾隆三年（1738年）重修，乾隆五年御赐藏经一部；嘉庆初（1796年）天山和尚献银300两，对围墙、壕崎、山林进行维修、垦复；咸丰年间（1851-1861年）寺宇圮毁，寺产又被攘夺；同治九年（1870年）海岸和尚住持福严，劝募四方，重建寺宇，其规模大体同宋朝；海岸还追回寺产，广开田土，寺院复兴。1931年，宝生和尚住持福严，再度全面整修，规模超过清朝。1945年，国民党将领孙立人在寺后捐建观音阁，作其岳母修持佛法之地。不久，寺僧又在观音阁旁边建华严阁。